本文主要是讲解Python利用OpenCV进行相机校正过程中，几个重点参数的分析。标定的过程就不再一一赘述了，很多博客和网站都在讲解怎么进行标定。本文章主要分析，标定过程中的误差计算公式，和对calibrateCamera( ) 和 projectPoints( ) 两个函数得到的误差不同的原因进行分析。

本文重点分析重投影误差的计算方式。准确描述OpenCV自带的函数，和各个文档，教程里面所说的重投影误差计算的流程进行分析和对比，描述官方的重投影误差和教程实现重投影误差的差别。 我认为OpenCV官方和其他大多数地方的教程，给的重新计算重投影误差的结果，其计算的表达式，也是不准确的。

正确的方法是相机校正的方法输出的重投影误差ret。使用的是RMS均方根误差。另外教程和博客，给的是MSE均方误差

这里，ret表示的是重投影误差；mtx是相机的内参矩阵；dist表述的相机畸变参数；rvecs表示标定棋盘格世界坐标系到相机坐标系的旋转参数：rotation vectors，需要进行罗德里格斯转换；tvecs表示translation vectors，主要是平移参数。 其他几个参数，OpenCV的官网都进行了仔细分析，在这个网站上去仔细的看，每个参数对应的数学公式。https://docs.opencv.org/3.4/dc/dbb/tutorial_py_calibration.html

主要分析ret这个值，也就是retval，这个是重投影误差。

其中，这个ret也就是retval，表示的是重投影误差，是算法自动返回的，其表达式为： R e p p o i n t s   x ′ = k [ R ∣ T ] X   . Reppoints \ x'= k [R|T]X \,. Reppoints x′=k[R∣T]X. 其中，Reppoints x’是[Nx2]，表示的图像像素平面的2维坐标点，X是[Nx3]表示的3D世界坐标系下的3维坐标点。也就是棋盘格所构造的3D坐标系的大小。 r e t = r e p r o _ e r r o r = ∣ ∣ x ′ − x ∣ ∣ 2 2 t o t a l _ p o i n t s = ∣ ∣ x ′ − x ∣ ∣ 2 t o t a l _ p o i n t s ret =repro \_error =\sqrt{\frac{ ||x'-x||_{2}^2}{total\_points}}={\frac{ ||x'-x||_{2}}{\sqrt{total\_points}}} ret=repro_error=total_points∣∣x′−x∣∣22​​ ​=total_points ​∣∣x′−x∣∣2​​ 这就是cv2.calibrateCamera()返回的值中，ret也就是重投影误差的计算公式。求的是RMS均方根误差，对所有的点，求二范数，然后求平均再开根号，得到RMS误差。

其中，二范数用的是：cv2.norm(data1, data2, cv2.NORM_L2)计算得到: n o r m ( x , x ′ ) = ∣ ∣ x − x ′ ∣ ∣ 2 = ∣ ∣ x − x ′ ∣ ∣ 2 2 = ( x 1 − x 1 ′ ) 2 + . . . + ( x n − x n ′ ) 2 norm(x,x')=||x-x'||_2=\sqrt{|| x-x'||_{2}^2}=\sqrt{(x_1-x'_1)^2+...+(x_n-x'_n)^2} norm(x,x′)=∣∣x−x′∣∣2​=∣∣x−x′∣∣22​ ​=(x1​−x1′​)2+...+(xn​−xn′​)2 ​

对相机标定得到的参数，带回原始的投影公式，重新计算从3D世界坐标系投影到2D图像平面坐标系的新的图像像素值，然后计算重投影误差。其中，objpoints表示世界坐标系的坐标，也就是棋盘格的坐标系，rvecs，tvecs，mtx，dist就是相机标定得到的那些参数。

这里计算误差的方式，我们将得到的值和上面相机校正返回的值ret，不一样。因此，需要考虑，将这个官方给定的计算方式，进行重新计算。如果你不在意准确的值，就不用进行优化。

本文是准确的探索，重投影误差的计算方式。按照上面的算法流程，我们可以得到以下的计算重投影误差的公式： r e p r o _ e r r o r = ∣ ∣ x ′ − x ∣ ∣ 2 t o t a l _ p o i n t s repro\_error={\frac{ {||x'-x||_{2}}}{total\_points}} repro_error=total_points∣∣x′−x∣∣2​​ 很明显，均方误差的计算，按照上述的表达式，是不准确的。误差开根号，然后除以点数多少，只能说是每个点的平均欧式误差。MSE误差。

因此，需要求得准确的均方根误差，我们应该是先求平方，求平均，在开根号。因此，需要将代码改为：

上述的流程才是： r e p r o _ e r r o r = ( ∣ ∣ x − x ′ ∣ ∣ 2 2 t o t a l _ p o i n t s repro\_error=\sqrt{\frac{(||x-x'||_2^2}{total\_points}} repro_error=total_points(∣∣x−x′∣∣22​​ ​

相机校正返回的值

函数的返回值 其中的返回的误差项，真实值：ret 为 ret: 0.008683449668964258

使用大多数教程和博客的算法来计算的误差值，是有差别的：

参考代码给出的输出误差结果 total error: 0.0018512112930950482

按照自己修正的代码，来进行重投影误差计算： 输出的重投影误差为：total error: 0.008683459017710442。

因此，和我们相机校正输出的=重投影误差是一样的。

下面是原始C++函数，计算重投影误差的流程，我上面的公式就是按照这个算法来解释的：